Khi Ngô Quyền về vùng ven biển Đông Bắc (An Dương) chiêu mộ lực lượng chuẩn bị đối phó với quân Nam Hán xâm lược, ông đã cùng với Nguyễn Tất Tố và trai tráng trong làng đầu quân đánh giặc và được trọng dụng làm gia tướng.

Ông được vua Ngô Quyền giao cho chỉ huy dẫn quân lính cùng nhân dân vào rừng lấy gỗ đẽo cọc nhọn cắm ở cửa sông rồi cùng Ngô Xương Ngập (con trai Ngô Quyền) và Dương Tam Kha đem quân mai phục hai bên bờ sông.

Khi quân Nam Hán di chuyển vào trận địa, ông cùng Tam Kha, Xương Ngập chỉ huy những chiếc thuyền nhỏ nhẹ từ trong ra hàng lau sú tiến ra đánh phá, chia cắt đội hình quân giặc.